Khác với nhiều chư hầu thời Xuân Thu, Ngô là nước được thành lập khá sớm, ngay từ đời nhà Thương. Nguyên một chư hầu lớn của nhà Thương là Tây Bá (sau được truy tôn là Chu Thái vương) có ba người con trai: Thái Bá, Trọng Ung và Quý Lịch. Người con út là Quý Lịch sinh được người cháu là Cơ Xương từ nhỏ đã tỏ ra tài giỏi hơn người bình thường. Vì thế Tây Bá có ý định truyền ngôi cho Quý Lịch để sau này Cơ Xương được nối ngôi.

Hai người anh biết chủ ý của cha, bèn bỏ trốn đến ở đất Kinh ở phía Nam sông Trường Giang, tự cắt tóc và xăm mình như tục người bản địa và xưng là Câu Ngô. Theo Sử ký, có hơn 1000 nhà đến theo và tôn ông làm chủ. Từ đó ông trở thành tổ tiên của nước Ngô - tức là Ngô Thái Bá.

Người em út là Quý Lịch lên thay cha làm Tây Bá rồi sau truyền ngôi cho Cơ Xương (tức Chu Văn Vương sau này), sau này Cơ Xương có con là Cơ Phát diệt Thương dựng lên nhà Chu. Như vậy Ngô Thái Bá và Trọng Ung là bác của Chu Văn vương.